Sau đó ông làm Thanh tra kháng chiến Hậu Giang, Ủy viên liên tỉnh ủy (gồm 10 tỉnh miền Tây Nam Bộ); Chính ủy Khu 9.

Từ tháng 12 năm 1948 đến năm 1950, ông làm Chính ủy Đặc khu Sài Gòn - Chợ Lớn; Chính ủy Khu 7; Thanh tra Bộ Tư lệnh Nam Bộ. Từ năm 1952 đến năm 1954, ông làm Tư lệnh, sau đó Phó Tư lệnh kiêm Chính ủy Phân Liên khu miền Tây Nam Bộ.

Từ tháng 8 năm 1954, ông làm Phó Trưởng đoàn Liên hiệp đình chiến Nam Bộ rồi Phó Trưởng đoàn Liên hiệp đình chiến Trung ương, hàm Đại tá. Năm 1955, ông được thăng quân hàm Thiếu tướng theo Sắc lệnh 243/SL ngày 3 tháng 11 năm 1955 của Chủ tịch nước .

Tháng 3 năm 1957, ông làm Phó Tổng Thanh tra Quân đội.

Năm 1958, ông được bổ nhiệm Thứ trưởng Bộ Công an, phụ trách lực lượng Cảnh vệ. Khi lực lượng Công an Nhân dân vũ trang được thành lập, ông được cử làm Tư lệnh kiêm Chính ủy đầu tiên của Lực lượng Công an Nhân dân Vũ trang.